3D Gaussian Splatting

= 3DGS

複数の元写真から3D Gaussianを生成し、これらの3D Gaussianをカメラの姿勢に合わせて2D画面にsplatすることで、自由視点2D画像を生成できる技術

3D Gaussian とは

• 中心点の位置、共分散、透明度、視点方向依存の色情報を持つ3次元表現の基本単位
• 形状だけでなく視点方向依存の色情報を持つ
  • → 複雑な光の反射特性も近似できる
  • 点群データの各点を楕円形で表現することで、異なる視点からの見え方の変化を表現することが可能になっている
    • 楕円形は視点によって見え方が異なるため

3D Gaussian の学習方法

• 画像から学習できるパラメータ（3D Gaussian $i$ に関するもの）
  • $p_{w_i}$: 3D Gaussian分布の世界座標における中心点
  • $q_i$: 3D Gaussianの回転（クォータニオン）
  • $s_i$: 3D Gaussianのスケール
  • $h_i$: 3D Gaussianの球面調和パラメータ（視点方向依存の色情報）
  • $\alpha_i$: 3D Gaussianの不透明度
• 設定値（学習扶養の仮想カメラの設定に関する値）
  • $R_{cw}$: カメラのローカル座標系における回転
  • $t_{cw}$: カメラのローカル座標系における並進
  • $K$: カメラの内部パラメータ

学習の流れ:

1. 3D Gaussianの中心点を2D画面に投影するときの座標値を計算する
   1. 3D Gaussianの中心点 $p_{w}$をカメラ座標系の点 $p_c$ に変換
      1. $p_c = R_{cw} p_w + t_{cw}$
   2. ピンホールモデルを用いて、カメラ座標系の点 $p_c$を画面に落とすときのピクセル座標値を計算
      1. $\begin{aligned} \mathrm{u}(p_c) &= \begin{bmatrix} x f_x /z + c_x \\ y f_y /z + c_y \end{bmatrix} \end{aligned}$
         1. x, y, z は $p_c$ の各成分
         2. $f_x, f_y$ は焦点距離
         3. $c_x, c_y$ は画像センサーの中心位置
2. 3D Gaussianの3D共分散を計算する
   1. 3D共分散は3x3の半正定値行列だが、このままだと勾配降下法などで更新する際に、更新後に半正定値であることを保証できない
   2. → 結果の正定値性を保証できる回転 $q$ と各軸のスケール $s$ の合成で表現する
3. 3D Gaussianの3D共分散を2D画面に投影するときの2D共分散を計算する
4. カメラの姿勢に応じて、見えた3D Gaussianの色を計算する
   1. 3D Gaussian Splattingではレイトレーシングはしないが、球面調和関数を用いて光の反射特性を近似できる
   2. 球面調和関数 = 球面版のフーリエ級数
      1. 無限個の球面基底とそれぞれの係数の線形結合で、視点方向に依存し、色が変化できる球を表現できる
5. これまでの計算情報を用いて、3Dの画像を生成する